● 2019年度　報告
研究実績の概要
　令和元年度は、フォトグラメトリーの精度向上研究。動画撮影により３Dデータに時間軸を与える４Dの実現性検証。また、研究の中間発表を行うことを主たる目標とした。
　まず、フォトグラメトリーの基本的な撮影と、静止画から立体情報を得るワークフローが確立できたことを受け、デジタルカメラの設定による立体データの変化を検証した。ダミーに白いTシャツと黒いズボンを履かせ、露出を段階的に変えながら撮影。白い箇所と黒い箇所の欠損（白飛び、黒つぶれの結果、立体化されない。）がどのように発生するのか検証を行った。その結果、白い箇所、黒い箇所、両方が立体化できる適正値の相関関係を求めた。またモデルに対し、レーザーによるランダムドットの投射や、ビデオプロジェクターによる映像の投影を行い、表面の位置情報を付加することで、適正な露出幅が広がるかの検証も行った。
　その後、シャッタースピードを段階的に変え、動くモデルを撮影。写真のブレが、立体化にどのように影響するのかを検証した。予想していた＜変形した３Dデータ＞ではなく、一定以上のブレが生じると立体化自体にエラーが出た。写真のアウトフォーカスは、立体が溶けたような表面を持つが、動体のブレは３次元情報に矛盾が出るからだと推測できる。アウトフォーカスとブレのフォトグラメトリー上の違いに関しては継続して研究したい。
　年度末には、カメラの台数を減らし試験的に、動画を撮影。シーケンサーオブジェクトとしてレンダリングすることで、３次元情報を持つ動画が完成した。しかし、立体のノイズや、静止画では気づかなかったカメラ位置のブレが多く計測時に起点となるマーカーの導入が必要だと思われる。
　９月には、中間報告会という位置付けで、学外の大学ギャラリーを使い、研究のプレゼンテーション、ワークショップ、研究設備の公開を行った。来場者は1106人で、その報告は最終年度の研究報告書で行う予定である。

現在までの進捗状況
おおむね順調に進行している。
　本研究は、初年度に機材調達やセッティングを行い、次年度からは、データ収集と実験を繰り返している。令和元年は、９月に中間報告会を設定したことから、それまでに研究をある程度軌道に乗せ、データを整理する必要があった。そういった目標持ったスケジューリングが行えたことで、順調に進むことができた。
　フォトグラメトリーの精度向上に関しては、一定のデータは取れたが、より客観的で汎用性のあるデータとして、再び検証する必要があるだろう。動画撮影による立体化は、スタートアップしたところだ。しかし、思っていたよりも動画に問題なくこぎつけた。今後はノイズやブレの問題を克服しなければならない。これらの研究を享受できるブラウジングシステムを研究することが本研究の最終目的である。日進月歩の３DCG技術で、流用できそうな技術も散見できる。これらを統合改良して、研究成果としてまとめてゆきたい。
　２年目までの研究成果を、リファインするために、データ収集を再度行うのなら、進行は少し遅延しているかもしれない。しかし、一旦データ収集を行っているので、ノウハウはあり再計測してもスムーズに進むだろう、暫定であればデータもある。それを考えれば概ね計画にそっている。

今後の研究の推進方策
　まず、新型コロナウイルスの影響が既にでている。今年度、早々に大学が全面登校禁止となった。本研究は機材を使って研究を行う部分が多く、撮影機材、スペース、演算用コンピュータがないとテレワークも不可能になる。自宅で行える研究内容としては、既存データの整理や検証。機材の一部は持ち帰っているので、限定的な計測作業。何れにしても、本研究の最終年にあたるが、大学封鎖が解除され研究が再開できたとしても、研究が軌道に乗るまでしばらく時間がかかると思われる。ほぼ、半期研究が進まない項目もあるので、研究期間延長申請も視野に入れている。
　そういった状況を一旦抜きで、進捗方策を述べれば、まず動画撮影の精度を上げるために、カメラ位置のトラッキング（マーカーを置くなど）３次元化時のノイズリダクションなどを検証する。その後、モデルによる日常動作を撮影し、４Dデータを快適に鑑賞できる環境を整えることで、本研究の最終形態を完成させる。その間、これまでのデータの再撮影、精度向上の実験なども随時行ってゆく。


● 2018年度　報告
研究実績の概要
研究初年度は、研究に必要な物品の調達から始まり、フォトグラメトリー撮影システムの構築を中心に行った。デジタルカメラを精密に制御するにあたっての問題点解決に取り組んだ。
データの転送について。当初、それぞれのカメラはUSB3.0規格のネットワークでパソコンと接続したが、3.0の仕様上、認識する台数が限られていた。この規格を変更することで、認識デバイス数が増え、すべてのカメラを認識させる事ができた。２、シャッターのシンクロ。全台のカメラに対して同時にシャッターを切るため、電気信号を50分波できるコントロールボックスを制作。３、データ転送速度、撮影された画像をリアルタイムにパソコン位取り込むには転送速度が足りず、連写すると収集される写真に取りこぼしが発生した。そこで、カメラのメモリーに一旦保存し、追っかけるように、随時、パソコン内にデータを転送するシステム構築。これによって、連写を行なっても、データ転送の遅延によって取りこぼす画像がなくなった。
昨年度は、６回のスタジオ撮影と、３回の試験的な人物撮影を行なった。基本的な撮影ができ３次元計測のおおよそ良好なデータが得られる環境は整った。また、この研究の要素でもある。可搬性を検証すべく、撮影場所をその都度変え、機材一式の搬送、設置のノウハウを培った。今後、バリエーションを更に与えた撮影条件を設定し、より詳細なデータの収集に取り組む。また、フォトグラメトリーの解析でエラーが出やすい、黒髪や白い衣装について、レーザーの点群を照射するなどを試みたが、点群の数が足りず、精度にばらつきが出た。その後レーザー光源のプロジェクターでランダムパターンを照射することで、座標認識の精度を上げる実験をスタートさせた。今年度は、中間報告として、研究発表の機会を持てることが決まった。

現在までの進捗状況
本研究は初年度に物品購入のほとんどが費やされ、その設備を使って、２年目３年目は調査研究に取り組むという大きな流れがある。よって初年度の物品の金額が大きく、入札、業者確定、商品調達を経て、機材が揃ったのが7月ごろ。それからセッティングが始まったので、どうしても初年度の状況として、研究の時間が圧迫されたことは否めない。しかし、その後の研究で直面した問題は、概ね解決してゆき当初の計画に準じたところまで進んだと考えている。今年度は、設備を年度始めから活用し、研究を加速させてゆく予定である。

今後の研究の推進方策
本研究の研究基盤は整った。フォトグラメトリー撮影環境、基本的な３次元情報の生成。可搬性の担保。などが整備できたので、今年度は、カメラ、ライティング、生成のアルゴリズムの組み合わせがどのように関係しているのかをデータに取り、精度向上の客観的なデータ収集を中心に行う。また、そういった基礎的なデータ収集と並行して、新たな精度向上のシステムを開拓すべく、以下の取り組みを行う。
１、レーザープロジェクターによるマーカーの照射。黒い髪の毛や白い服など、表面情報が捉えにくい対象物にパターンを照射することで擬似的な模様を表面に施す。２、計測範囲の拡大。対象物の後方に大型のミラーをL字に設置し、側面、背面の計測も同時に行う実験。原理的には４倍の視点から捉えた情報が得られる。３、HDR(ハイダイナミックレンジ)での写真撮影を自動化させ、暗部明部のつぶれを軽減させる。
昨年度は、室内に限って可搬性の試験を行なったが、今年度は、野外での撮影も行う予定である。そのためには、全機材がバッテリー駆動である必要性があり、その実用性も検証したい。また、本研究の主たる目的である動画の撮影から３次元計測し、時間軸を伴った３Dデータ、４Dデータの生成に取り組む。まずは、少ない台数のカメラで試験的に撮影し、動画から１フレームのズレもなく静止画が書き出せるのかを検証する。また、レンダリング時間は飛躍的に伸びると思うのでその実用性も、検討事項の一つになる。9月には、中間発表として、研究機関管轄のスペースで、研究報告を行う予定である。研究を簡潔にわかりやすく掲示し、その成果を一般の方にも体験していただくための、市民参加型のワークショップを企画している。